ד. שיפור תמונות מבוא בפרק זה נעסוק בכמה נושאים מתוך הנושא הרחב של המבוא, אנו מבחינים בין "שיפור תמונות" "שיפור תמונות". (Image enhancement) לבין כפי שהזכרנו בפרק "שחזור תמונות" restorato.(image מטרת שני התהליכים היא לקבל תמונה שאיכותה אינה מספקת, ולייצר סף: ממנה תמונה אחרת, בעלת איכות משופרת. המטרה אמנם זהה, אך המתודולוגיה שונה לגמרי. בשחזור תמונות אנו מסתמכים על תהליך קלקול מפורש, הנתון בד"כ על ידי מודל סטטיסטי. מניחים שהתמונה עברה קלקול המאופיין על ידי תהליך זה, ומנסים למצוא מערכת מתקנת שתחזיר את התמונה למצבה האידיאלי, הקלקול לא היה קיים. כלומר למצבה כמו שהיה יכול להיות אם תהליך ברוב המקרים לא ניתן לתקן באופן מושלם ולכן מסתפקים בתיקון כזה שיביא את התמונה המתוקנת להיות כמה שיותר "קרובה" לתמונה האידיאלית. הגישה המקובלת בשחזור תמונות מבוססת על ניסוח בעיית התיקון הטוב ביותר כבעיית מינימיזציה של ההפרש בין התמונה האידיאלית והתמונה המתוקנת, ההפרש למינימום ע"י שיטות אופטימיזציה מתמטיות. מראש, ניתן לנסות ולהעריך אותו ולהפעיל שיטות של שחזור תמונות. בשיפור תמונות הגישה היא אחרת: ומציאת המערכת המביאה את גם אם מודל הקלקול אינו ידוע לא מניחים מודל מפורש של הקלקול, אך בכל זאת מחפשים מערכת כלשהי שתשפר את מראה התמונה, וזאת על יסוד תכונות כלליות. למשל ניגודיות גבוהה עדיפה בד"כ על ניגודיות נמוכה, מעבר בין אזורים שונים בתמונה עדיף שיהיה חד ולא מודרג, ועוד. באופן כללי זהו אוסף של שיטות היוריסטיות. מבחנן של שיטות אלו הוא ניסיוני, כלומר יש לממש אותן ולשאול צופה אנושי אם הן נותנות תוצאות טובות ואכן משפרות את המראה של התמונה. { לעתים קרובות ניתן, עבור יישומים מסוימים, לשפר תמונות בשיטות פשוטות ובהצלחה רבה. אם למשל הקלט, (j, )g, הוא תמונת רמות אפור של דף דפוס, שצולמה בתאורה אחידה ומבוקרת אך בניגודיות נמוכה, יתכן שנשיג שיפור ניכר על ידי הפיכתה לתמונת שחור\לבן בעזרת מעבר (זו מערכת נקודתית, שהן אינן כלליות מספיק. u(, j) T[ g(, j)] g(, j) < th g(, j) th לא ליניארית, קבועה בהזזה, וחסרת זיכרון.) בשיטות כאלו לא נדון, כיון.
2 מנגנוני קלקול טיפוסיים בסעיפים הבאים נדון בשיטות כלליות שמטרתן לשפר את מראה התמונה. כגורמים מתקנים לכמה מנגנוני קלקול טיפוסיים בתהליך רכישת התמונה: שיטות אלו פועלות חוסר ניגודיות קורה בד"כ בעקבות אי התאמה של תחום הבהירויות בעולם המצולם לתחום הבהירויות שתהליך הצילום קולט. בגלל מגבלות טכנולוגיות, המצלמה יכולה לקלוט תחום בהירויות מוגבל, :, ויש להתאים את התחום הזה לתחום הבהירות בעולם שרוצים לקלוט. התאמה גסה נעשית על ידי צמצם, המצוי בכל מצלמה והשולט על כמות האור הכללית הנכנסת, ובמצלמות אלקטרוניות גם על ידי מנגנון כוונון הגבר אוטומטי.(AGC) אם התאמה זו אינה נעשית כראוי, למשל אם הצמצם סגור מדי, תכנס כמות קטנה מדי של אור ונקבל מספר קטן של גוונים כהים במקום את כל הגוונים. לעתים גם לא ניתן לעשות כזאת התאמה. אם למשל מצלמים בחושך, אז גם אם הצמצם פתוח במידה מכסימלית והתמונה עדיין חשוכה. דוגמה אחרת היא שהעולם המצולם כולל אזורים שונים המוארים בצורה שונה מאוד. ניגודיות התמונה תלויה כמובן גם בעצמים המצולמים, ואם כמות האור החוזרת מנקודות שונות בעצם היא דומה נקבל ניגודיות נמוכה. על מגבלה זו קשה יותר להתגבר בתהליך הצילום המקובל, כיון שהיא מחייבת שינוי של הרגישות. רעש: עקב מנגנונים שונים, כמו למשל המיגבלות הקוונטיות של תהליך הצילום האלקטרוני, העברת התמונה דרך מערכת תקשורת רועשת, וגם הקוונטיזציה של רמות האפור, אין אנו מקבלים את רמות האפור הנכונות והמדויקות בכל מקום. המודל מקובל לאפיון התהליכים האלו הוא תוספת של אות טפילי (המכונה באופן מסורתי רעש) לאות התמונה. g (, j) g (, j) + nose(, j) gven deal סוג אחר וקשה יותר לטיפול של "רעש" הוא מקרים בהם התמונה מחוקה בכמה מקומות, למשל עקב סריטות. מקרים כאלו לא ניתן לדמות על ידי תוספת אות שאינו תלוי בתמונה וקשה יותר לתקן. לא נעסוק בהם כאן. דוגמה: התמונה המקורית טשטוש: אם מנגנון המיקוד במצלמה אינו מכוון כיאות בזמן הצילום, נקבל תמונה מטשטשת. משמעות הטשטוש היא שלנקודה מסוימת במישור התמונה הגיע אור מכמה נקודות שונות באובייקט, ורמת האפור המתקבלת היא ממוצע משוקלל שלהן. צילום תוך כדי תנועה גורם לאפקט דומה..2
נשים לב שטשטוש מוביל לעתים קרובות לחוסר ניגודיות אך הוא תופעה שונה לגמרי. הקטנת ניגודיות, הנגרמת למשל על ידי צמצם סגור מדי, היא תהליך שבו רמת האפור בכל פיקסל נקבעת על ידי בהירות העצם במקום המתאים לפיקסל זה בלבד. את פעולת הקלקול והתיקון ניתן לאפיין על ידי מערכת חסרת זיכרון. לעומת זאת רמת האפור בתמונה מטושטשת נקבעת גם על ידי הבהירויות בנקודות סמוכות בעצם, והקלקול וגם התיקון הם מערכות בעלות זיכרון. 3 תיקון התחום הדינמי בעזרת שינוי היסטוגרמות. 3 5 5 3 5 9 9 5 5 9 9 5 3 5 5 3 3 5 5 3 3 5 5 3 5 9 9 5 5 9 9 5 5 9 9 5 5 9 9 5 3 5 5 3 3 5 5 3 2 3 4 5 6 7 8 9 2 4 6 8 דוגמה: תמונת רמות אפור מטריצת רמות האפור ההיסטוגרמה של התמונה ההיסטוגרמה היא מאפיין של התמונה, ממנו ניתן ללמוד על איכותה. היא מוגדרת כפונקצית השכיחות של רמות האפור, מבלי להתייחס למיקום הפיקסלים בהם מופיעות רמות אפור אלו. אם למשל משתמשים ב - n ביטים לקידוד רמת האפור של כל פיקסל, אז ניתן לייצג רמות 2 n אפור שונות. ההסטוגרמה היא פונקציה של רמת האפור, וערכה, עבור רמת אפור, הוא מספר הפיקסלים בתמונה שבהם רמת האפור היא. hst ( ) {(, j g ) g(, j ) } n 2 2 hst ( g. אם ננרמל את ההיסטוגרמה נקבל ) N - ברור ש, N לתמונה בגודל N פונקציה הדומה לפונקצית פילוג הסתברותית, אנלוגיה מקובלת שנשתמש בה מייד. נשים לב שההיסטוגרמה אינה מגלה הרבה על תוכן התמונה, אבל, היא בהחלט מספרת על סוג התמונה. לשתי התמונות אותה היסטוגרמה. ההיסטוגרמה אינה משקפת את קשרי המקום שקיימים בין הפיקסלים. תמונה בעלת תחום דינמי מוגבל היא בעלת היסטוגרמה אופיינית המתפרסת רק על תחום מוגבל של רמות אפור. תמונה כזו אינה מנצלת כראוי את כל גווני האפור שהמסך יכול להציג, היא תראה "שטוחה", ולא תאפשר הבחנה בפרטים (ראה דוגמה באיור בעמוד הבא). הנחה בסיסית מקובלת היא שתמונה טובה מנצלת את כל רמות האפור, או לפחות רמות אפור מכל התחום..3
הטכניקה שבה עוסק פרק זה היא מיפוי של רמות האפור מקבוצה אחת לקבוצה אחרת. על ידי מיפוי רמות האפור בתמונה הנתונה לרמות אפור אחרות, ניתן לנצל טוב יותר את אפשרות ההצגה שנותן המסך. המיפוי יהיה מונוטוני עולה, דבר שיבטיח שהתמונה תראה פחות או יותר טבעית. מיפוי זה יקבע על ידי צורת ההיסטוגרמה, ללא צורך בחקירת התמונה עצמה באופן ישיר, ויגרום לכך שההיסטוגרמה תשתנה. קבוצת אלגוריתמים זו נקראת טכניקות שינוי היסטוגרמה. הווריאציות השונות הן על הדרך בה נקבע המיפוי לפי צורת ההיסטוגרמה הנתונה. hst( ) Gray level c New gray level b a Gray level 3. הטכניקה הפשוטה ביותר היא מתיחת היסטוגרמה stretchng) (hstogram זוהי מתיחה לינארית של תחום רמות האפור, המבוססת על המיפוי L L L L + ] L היא רמת, L ] + כאשר האפור באות הכניסה, ו- ] L [, היא רמת האפור באות התוצאה. 3.2 מתיחת היסטוגרמה פשוטה אינו פתרון מספק תמיד. אם ההסטוגרמה מכילה אפילו מספר קטן של פיקסלים ברמות האפור הקיצוניות, אז מתיחה לא תשנה דבר והתמונה תמשיך להראות אפרורית וחסרת ניגודיות. מיפוי כללי יותר, פתרון ראשוני למקרים כאלו הוא להגדיר כדוגמת זה שבאיור. חסרונו של מיפוי כזה הוא שהוא דורש יתר פרמטרים, וקשה יותר לקבוע אותם. בדוגמה זו חולק תחום רמות האפור לשלושה תחומים. במקרה הכללי אין הצדקה לקביעת פונקצית מיפוי הכוללת 3 קטעים ולא עם למשל. 4 זאת, פתרון זה מאד מקובל במערכות אינטראקטיביות לשיפור תמונות, שם יכול המשתמש לבחון את התמונה המתקבלת ולשפר את חלק התמונה בו הוא מעוניין. 3.3 איזון הסטוגרמות - פתרון מקובל הוא לבקש שהאות לאחר המתיחה יהיה בעל היסטוגרמה מאוזנת. טכניקה זו נקראת איזון היסטוגרמה, equalzato (Hstogram כיון שהיא מביאה להיסטוגרמה "מאוזנת" (אחידה). כאמור, ביסוד טכניקה זו עומדת ההנחה שתמונות עם היסטוגרמה מאוזנת "נראות טוב". זו הנחה היוריסטית שניתן לחלוק על תקפותה, ואכן, בסיום.4
הפרק נראה מספר מקרים שבהם היא אינה נכונה. למרות זאת עבור רוב התמונות שצולמו באופן טבעי, זו הנחה סבירה. לצערינו, במקרה האמיתי, בו קבוצת רמות האפור האפשריות היא בדידה, בעיית האיזון אינה מוגדרת כראוי (נראה זאת להלן). לכן בדרכינו למצוא את נוסחת המיפוי, נתחיל מהנחה שקבוצת רמות האפור היא רציפה. בעזרת קרוב זה נוכל למצוא ביטוי אנליטי למיפוי מאזן הסטוגרמה. נתייחס לרמת האפור כאל משתנה אקראי המאופיין על ידי פונקצית צפיפות פילוג ( ( p p hst( ) המושגת באמצעות. רמת האפור השווה להיסטוגרמה המנורמלת: ) ) hst( ) d איזון ההיסטוגרמה היא פונקציה (שאינה ידועה עדיין) של רמת האפור המקורית., לכן רמת האפור ( ) אף היא משתנה אקראי בעל צפיפות פילוג (אחרת). נזכיר שצפיפות הפילוג של רמת האפור החדשה יכולה להיות מחושבת על ידי p p ( j ) p ( ) ( ) d d { ( ) } d j j d j hst( ) New gray level hst( ) Orgnal L- L + Gray level (dscrete) hstogram equalzaton Mappng hstogram stretchng Gray level Results hstogram stretchng hstogram equalzaton Gray level (dscrete) (תזכורת:,x פרוש הביטוי לעיל הוא: כדי לחשב את צפיפות הפילוג עבור ערך y של פונקציה של משתנה אקראי,y(x) יש למצוא את כל הערכים של המשתנה עבורם ערך הפונקציה הוא y ולסכום עליהם את הצפיפות המקורית משוקללת בניגזרת. במקרה שלפנינו, כיון שהפונקציה מונוטונית, ניתן להשמיט ( ) הן את הסכימה והן את הערך המוחלט מהנגזרת במכנה.) בד"כ משתמשים בנוסחה זו בכוון p וידיעת הפונקציה "ישיר": מתוך ידיעת ( (. כאן ( נחשב את הילוג החדש ) ( ) נשתמש בנוסחה בכוון "הפוך". p כלומר מתוך ידיעת שני הפילוגים נמצא את פונקציית ההמרה. ) ( מבטאת את ההיסטוגרמה (המנורמלת) p של התמונה שתתקבל לאחר המיפוי של רמות האפור לפי. למען הפשטות נבקש נבקש ש- ( ) יהיה מפולג באופן אחיד (הסטוגרמה מאוזנת) בין ל-. כלומר ( (. מכאן ניתן למצוא את p המיפוי הדרוש, ) : ( d p( ) d d p ( ) d ומכאן מתקבל ע"י אינטגרציה, ושווה לפונקצית השוואה בין מתיחת היסטוגרמה לבין יישור היסטוגרמה עבור מקרה הדומה לזה של התמונה הכהה מאיור קודם..5
הפילוג (המצטברת) של : כלומר p ( ) d F ( ) L η η הינה פונקצית צפיפות הפילוג, ואילו ( F ( היא פונקצית הפילוג המצטברת) p ( ) ) כפונקציה של. זהו המיפוי המבוקש. ראה דוגמה באיור. קבלנו נוסחה ל- איזון הסטוגרמה מעשי מתקבל אם - מתחום ערכים דיסקרטי, לא נוכל בד"כ לקבל היסטוגרמה מאוזנת לגמרי באות התוצאה. דוגמה פשוטה לטענה זו היא אות כניסה המכיל רק חלק מתחום הערכים. כיון שההמרה מתבצעת בעזרת פונקציה (חד ערכית) הרי מספר הערכים באות המתוקן שווה למספר הערכים המקורי (לכל היותר) וקטן ממספר הערכים הכללי. קיימים ערכים שמשקלם אפס. כלומר ההסטוגרמה אינה מאוזנת. לכן נאלץ להסתפק בקרוב. ), (. ( ), שכיכות ( 2),, ( k),, נניח שתמונת הכניסה מכילה K ערכים בדידים ( K ) הערך היא מנגנון האיזון יכלול שני שלבים: ראשית נכליל את הנוסחה שפתחנו. P ( k) ( k) לפילוגים רציפים עבור פילוג בדיד, ועל ידי נמצא מיפוי הממיר את ערכי הכניסה לערכי אות תוצאה זמנית k) ( k ( k) P ( ) ערכי התוצאה הזמנית "מאוזנים בממוצע", ונמצאים בתחום,() P. k בשלב כאשר ( ) ] [ ( k) השני נמתח את תחום ערכי המוצא לאוסף ערכים הדיסקרטיים הרצוים עבור רמות אפור ב,(,L ( k ) ( k ) mn mn ( L ) +.5 mn P ( ) דוגמה: נחשב את איזון ההיסטוגרמה, עבור התמונה בגודל 6, x 6 אשר תחום רמות האפור שלה הוא [,] ערך רמת האפור באות התוצאה רמת האפור המנורמלת ערך ההיסטוגרמה המנורמלת ערך ההיסטוגרמה המקורית רמת אפור באות הכניסה hst( ) P ( ) 28.5.5 7 64.25.75 27 3 32.25.875 9 35 32.25. ההיסטוגרמה לא מאוזנת לגמרי כמובן, בגלל תחום הערכים הדיסקרטי. נשים לב שהתחום 27- מכיל יותר ערכים מהתחום -27, וזאת בגלל ערך ההיסטוגרמה הגבוה ברמת אפור. כלומר יש "שאיפה לאיזון"..6
דוגמה: מקור משמאל, מתיחה באמצע, אזון מימין. קשה לשפוט האם האיזון או המתיחה טובים יותר בתמונה זו, כיון שזה תלוי במדפסת. על כל פנים שני השיפורים טובים יותר מהמקור. שימו לב שהרקע תופס את רוב שטח התמונה ולכן טכניקת האיזון מקצה לו מספר רב של רמות אפור, דבר היוצר הבחנה בין רמות אפור שהיו דומות במקור ואינן דומות בתמונה המאוזת. לעתים זה מפריע. שימו לב למשל להופעת פרטים חדשים בחלק הבהיר מעל ראש הדב. תופעה זו נקראת.false contours הטכניקה המיטבית תלויה בתכונות התצוגה. 3.4 אם ידוע לנו אופי התמונה, וההיסטוגרמה הצפויה מתמונה זו, ניתן להחליף את הדרישה לאיזון היסטוגרמה בדרישה הכללית יותר לקביעת היסטוגרמה specfcato (hstogram להסטוגרמה כלשהיא. נסמן את רמת האפור באות הכניסה ב- ונניח שנתון הפילוג ( (. (כאמור לעיל ניתן להעריך אותו לפי היסטוגרמת תמונת הכניסה). נסמן את רמת האפור באות התוצאה ב- β p β ונדרוש שיהיה מפולג לפי (β ( נוח להתייחס לבעיה זו כמעבר כפול: בתחום לאות מעבר ראשון מהאות - p בעל פילוג מאוזן הנעשה על ידי הפונקציה, ), ( ומעבר שני מהאות F ( ) p. לאות β הרצוי β לכל שלישיה )] ( β [, ( ), ניתן לרשום ) F ( ומכאן נוסחת F ( β ) המיפוי: P ( ) P ( β) p( ) s s s s 2 2 β β p( β ). β F β ( F β חישוב רמת האפור החדשה כפונקציה של רמת האפור המקורית ( )) dβ. d p ( β) זוהי צורה אחרת, p ( ) d β בעל פילוג מאוזן הערה: לכל שלישיה [, ( ), β( )] ניתן לרשום גם דיפרנציאלית, לרשום את אילוצי המעבר הכפול והדרישה ש- p בתחום ( )., דוגמה (לצורך בקביעת הסטוגרמה): בפרק הקודם הזכרנו שמסך (או כל מערכת תצוגה אחרת) מתרגם את רמת gamma האפור המוזנת אליו לבהירות. התרגום בד"כ אינו ליניארי וניתן לרישום מקורב על ידי הביטוי. I u המעריך המכונה ערך ה gamma של התצוגה מאפיין את העוות הזה. אם בכוונתינו לקבל ערכי בהירות המפולגים באופן אחיד, הרי יש להזין למסך אות רמות אפור שפילוגו אינו אחיד. נסמן את פילוג רמות האפור פילוג הבהירויות ב ב (u) p u * u p ( u) di du ( ) gamma u gamma. p I ( I ) const קל לראות שפילוג מביא לפילוג אחיד בבהירות. לכן, עבור יש לתכנן קביעת הסטוגרמה שתביא לפילוג p * u u ואת ברמות האפור של רמות האפור..7
3.5 בעיות באיזון היסטוגרמה: כל טכניקה תלויה בהנחות המנחות אותה, ואין זה ברור כלל שאיזון ההיסטוגרמה מביא תמיד לתמונה טובה יותר. למעשה יש דוגמאות ברורות שבהן איזון היסטוגרמה גורם להרעת התמונה. תמונות של טקסט מודפס, למשל, שהן מטבען אינן מאוזנות, איזון כפוי גורם להורדת הניגודיות וגם לרמות אפור טפיליות, ומקלקל את התמונה. דוגמה לאיזון תמונה גרפית: משמאל התמונה המקורית שצולמה ישירות מהלוח במצלמה דיגיטלית, באמצע התמונה לאחר מתיחה, מימין התמונה לאחר אזון הסטוגרמה. קל לראות שהאיזון מביא רמות אפור טפיליות לאזור הרקע, ומבליט שינוי תאורה קל שאינו אינפורמטיבי. בעיה נפוצה נוספת היא התרחקותן של רמות אפור זו מזו הגורמת לניגוד ולהבחנה ברמות אפור במקום בו איננו מצפים להבחנה כזו. ושיפוע מתון של בהירות הנראה כרציף, בין משטחים חלקים הכוללים כמה רמות אפור קרובות, מתגלות עתה שפות מלאכותיות וטפיליות המכונות,false contours שהיו לפני האיזון בלתי ניתנות להבחנה ושיכולות להפריע למתבונן בתמונה. ראה למשל את דוגמת האיזון עם תמונת הדוב. האזורים שוי רמת האפור היא עקום ארוך בעל עקמומיות נמוכה. להוסיף רעש (dtherng) אקראי ובמידה קטנה. האיזון, אז הוא "ישבור" בעוצמה נמוכה, בעיה זו בולטת במיוחד כאשר השפה בין פתרון מעניין לבעיה הוא כלומר לשנות את רמת האפור בכל מקום באופן ניתן להוסיף את הרעש לפני האיזון או אחריו. את השפה החלקה בין האזורים שווי רמת האפור. אם מוסיפים אותו לפני אם מוסיפים אותו לאחר האיזון, אז היא יגרום לרמות אפור ממוצעות המשתנות בהדרגה באזור השפה הבעייתית. בשני המקרים הוספת הרעש תגרום לשפה הטפילית להיות בולטת פחות. איזון ההיסטוגרמה אינו מביא לתוצאות טובות כאשר העצמים שיש להבליט הם קטנים יחסית: כיון שהם קטנים, הרי רמות האפור הקשורות בהם, משפיעות באופן שולי על ההיסטוגרמה, ועל המיפוי הנגזר ממנה. סביבה פתרון (סימטרית וריבועית בד"כ) מקובל הוא איזון היסטוגרמה מקומי: עבור כל פיקסל מגדירים ומחשבים היסטוגרמה עבור תת התמונה שבסביבה. לפי היסטוגרמה זו מחשבים את המיפוי הדרוש לאיזונה, אך מעדכנים אתה רק את הפיקסל המרכזי. התהליך קשה לניתוח אך גורם בד"כ לעצמים קטנים להתבלט על הרקע. 4 סינון רעש. לתמונה יכול להתווסף רעש ממקורות שונים: במצלמה, רעש גרעיניות בסרט הצילום, לכלוך על הנייר אותו מצלמים, רעש פוטונים רעש תקשורת שעוברת תמונת טלוויזיה ועוד. בד"כ נוהגים להשתמש במודל קלקול המניח רעש חיבורי nose),(addtve כלומר מניחים שאות התמונה המתקבל הוא סכום של אות אידיאלי ואות רעש. נסמן את האות האידיאלי ב- ), mn )s (sgnal) אותות אלו: ואת תוספת הרעש ב-.(nose) n( mn, ) האות הנתון,, g( mn, ) הוא סכום של שני.8
g( mn, ) s( mn, ) + n( mn, ) מערכת לסינון רעש היא מערכת הפועלת על האות המורעש המקורי ), mn, g( והמספקת קרוב טוב לאות s( mn, ) הנקי מרעש. קיימות גישות רבות לסינון רעש, וכולן מסתמכות על הנחות המאפיינות באופן שונה את האות והרעש. דוגמה פשטנית היא בעיבוד מסמכים: נקודה שחורה בודדת על רקע לבן תחשב לרעש ואלגוריתם פשוט לסילוק רעש יחליף אותה בערך הרקע הלבן. בתמונות הכוללות רצף של רמות אפור, ומשתמשים באפיון סטטיסטי של האות והרעש: לא ניתן בד"כ להשתמש בחוקים פשוטים כאלו, האות מאופיין על ידי הנחת תלות סטטיסטית בין דגמים קרובים: סביר שכמעט כל זוג,m )s אינו שונה בהרבה מ- פיקסלים שכנים הם בעלי רמת אפור קרובה, כלומר, (n (n )s,+m ומ- ), mn+. )s האבחנה הזו מבוססת על ההנחה שהעצמים בעולם חלקים יחסית, ושהנורמל למשטח בנקודות סמוכות דומה. שימו לב שההנחה זו אינה מתקיימת כאשר שני הפיקסלים הסמוכים אינם מגיעים מאותו עצם. מקרה כזה מכונה שפה ומאופיין לעתים קרובות במעבר חד בין רמות אפור שונות בפיקסלים סמוכים. אבחנה זו ניתנת לכימות על ידי התייחסות לאות כאל תהליך אקראי שרכיביו הקרובים תלויים סטטיסטית. איפיון מקובל הוא להניח שפונקצית האוטוקורלציה של האות, s( m, (שבה, ( τ, τ ) E{ s( m, s( m, s( m + τ, n + τ ) s( m + τ, n + τ ) ( ) ( )} R ss 2 2 2 הוא ממוצע האות שבד"כ אינו תלוי מקום) בעלת ערך גבוה עבור ערכי τ, τ2 קטנים. מודל מקובל לאפיון סטטיסטי של אות הרעש הוא להניח שהרעש הוא "רעש לבן" סטציונרי בעל ממוצע אפס. כלומר להניח שהערך ), mn )n נתון על ידי תהליך אקראי, הקובע ערכים אקראיים שאינם תלויים סטטיסטית במיקום בתמונה הערכים האחרים שהתהליך מקבל ), mn ), אינם תלויים סטטיסטית בכל,{n( m, n ):( m, n ) ( m, } ), mn. )s הנחת אי התלות במקום בתמונה מפולג לפי אותו פילוג, ובפרט, שעוצמת הרעש, ואינם תלויים באות ), mn ), משמעותה שהמשתנה האקראי בכל מקום המאופיינת על ידי השונות קבועה.,σ 2 הנחות אי התלות מביאות לפונקציות קורלציה המקיימות, למשל, R ( τ, τ ) E{ n( mn, ) n( mn, ) n( m+ τ, n+ τ ) n( m+ τ, n+ τ ) δ( τ, τ )} nn ( ) ( ) 2 2 2 2 2 כלומר, הקורלציה בין שני רמות אפור המשוייכות לפיקסלים שמיקומם היחסי שונה ב ) τ ( τ, היא אפס בכל מקרה שבו הפיקסלים אינם זהים. ניתן להגדיר את בעיית סינון הרעש באופן מדויק כבעיית אופטימיזציה של פונקצית מחיר סטטיסטית, ולמצוא את המסנן האופטימלי בטכניקות של אופטימיזציה. לתיקונים של עוותים "שחזור תמונות" הפתרון המתמטי של בעיה זו, המתייחס גם בצרוף הבעיה של תיקון עיוותים בתמונה מהווה את התחום הקרוי ולא יינתן כאן. באופן כללי יותר מקובל בעיבוד תמונות מודרני להניח קיום של איפיון של התמונה. איפיון זה יכול להיות סטטיסטי או אחר ומכונה בד"כ.pror כאן ניבחן כמה שיטות לסינון הרעש בגישה פחות מתמטית, המבוססת על פרןש אינטואיטיבי של אפיוני האות והרעש כמו שניתנו לעיל, ועל האבחנה שבתנאים אלו ניתן להסיק על רמת האפור של האות המקורי בפיקסל מסוים בתמונה, לא רק מתוך רמת האפור המורעשת הנתונה בפיקסל זה, אלא גם מרמות האפור הנתונות בסביבת בפיקסל. הטכניקה בכל הגישות היא לבחור סביבה מסוימת סביב כל פיקסל, ולהחליף את רמת האפור הנתונה בפיקסל זה, ב- "ערך מייצג" שאמור.9
להיות קרוב לרמות האפור בסביבתו. הסביבה ואופן בחירת הערך המייצג, לשיטה. 4. מזעור של שגיאה ריבועית ממוצעת על סביבה איזוטרופית: משתנים משיטה נתייחס לסביבה איזוטרופית (כלומר סביבה שגודלה אחיד לכל הכוונים ומרכזה הוא הפיקסל שאותו רוצים לתקן), למשל 3 3 ( N - "שכני - 8") ונחשב ערך שאינו שונה בהרבה מכל רמות האפור m, n ) ) 3 סביבת 3 בסביבה הזו. בחירה מקובלת היא לבקש ערך השונה באופן מזערי מהסביבה במובן MSE Error),Mean Square מדד מקובל להערכת שגיאה). כלומר, בהתייחס למקום מסוים בתמונה, ), mn, )g נתייחס לקבוצת ערכי רמות האפור בסביבה, {g( m, :( m, N( m, }, כך ש - הכוללת ), ( Nmn רמות אפור, ונחפש ערך מייצג, ), mn ~ g ( J ~ [g( m, ) g(, )] 2 n m n mn כדי לקבל ביטוי עבור הערך המייצג, נגזור ונשווה לאפס, של רמות האפור.. ( m, n ) N ( m, dj dg ~ ~ g( m, N ( m, g( m, n ) ( m, n ) N ( m, המערכת הנדרשת כדי לקבל מהתמונה הנתונה את התמונה המסוננת נקבל שערך זה הוא הממוצע בסביבה (תמונת "הערכים המייצגים") הינה מערכת לינארית וקבועה בהזזה, ולכן ניתנת לתיאור באמצעות קונבולוציה של 3, תגובת המערכת לאות הלם תמונת הקלט עם תגובת המערכת לאות הלם. עבור סביבת 3. 9 היא: נניח עתה שעוצמת הרעש בתמונת הקלט מאופיינת על ידי ווריאנס σ. 2 האם נוכל לאפיין את g~ ( m, האות לאחר הסינון? g( m, n ) s( m, n ) + n( m, n ) s~ + n~ N ( m, n ) N N ( m, n ) N N ( m, n ) N האות לאחר הסינון הוא סכום של שני אותות: האחד, מקומי של האות הנקי. השני, ~n, הוא ממוצע של N שהווריאנס שלו הוא ~s, אינו תלוי כלל ברעש והוא ממוצע משתנים אקראיים: זהו משתנה אקראי. כלומר הסינון הוריד את סטיית התקן של הרעש פי - σ 2 N. לכאורה N ניתן להסיק שעדיף לבחור סביבה גדולה ככל האפשר כדי להוריד את עוצמת הרעש במידה מכסימלית, אך כאן אנו נתקלים במחיר שמשלמים בשיטת המיצוע: אות התוצאה, לאחר המיצוע, הוא ממוצע מקומי של האות המקורי, וממוצע כזה הנעשה על סביבה גדולה, גורם לטשטוש שפות ופרטים בתמונה. גורם נוסף שיש לשים לב אליו הוא שקריטריון השגיאה הריבועית קונס באופן חזק ובלתי פרופורציונלי כל הפרש גדול בין אחד מערכי הסביבה לבין הערך המייצג. לכן אפילו רק אם פיקסל אחד שגוי בצורה חזקה, אז התוצאה יכולה לא להיות קרובה כלל לשאר הפיקסלים. 4.2 מזעור של שגיאה ריבועית משוכללת: וריאציה מקובלת לשיטת המיצוע מתקבלת מהטענה ש-"הערך המייצג" אינו צריך להיות קרוב לכל רמות האפור בסביבה באותה מידה, ושבחישוב השגיאה הריבועית הממוצעת, על סביבה (n, )N,m יש לתת משקל גדול יותר למרכז, כלומר לרמת האפור בפיקסל ), mn. )g הטיעון האינטואיטיבי לכך הוא פשוט: נניח שהערך המייצג הוא.
הערך האמיתי. הסטייה בינו לבין רמת האפור במרכז נגרמת רק עקב הרעש, בניגוד לשאר נקודות הסביבה, בהן נגרמת הסטייה הן עקב תוספת הרעש והן עקב השינוי בתמונה הנקייה. לכן יש לאפשר שגיאה גדולה יותר בנקודות הסביבה שאינן המרכז, וזאת נשיג על ידי שקלול נמוך יותר של השגיאה הריבועית בהן. בעקבות טיעון זה מביאים למינימום את 2 J c [g( m, n ) ~ g( m, ] ( m, n ) N כאשר משקל ההפרש במרכז גדול מהמשקלים בשאר הסביבה. מיצוע משוקלל כסינון המבוקש: ~ (, ) g mn c g( m, n ) למשל, אם הסביבה בגודל Σc ( m, N( m, 3 3, תגובת ההלם של מסננת מקובלת היא מינימיזציה זו תביא לנוסחת. 2 4 4.3 שימוש בסביבה לא איזוטרופית: לעתים קרובות התמונה מורכבת בעיקר מאזורים חלקים ושפות חלקות. בתוך האזורים החלקים ניתן להשתמש בסביבה איזוטרופית אולם באזור השפות שימוש בסביבה כזאת יכול לגרום שנמצע על רמות אפור השונות מאוד זו מזו. ניתן לזהות מיקומים כאלו ולהשתמש שם בסביבות לא אזוטרופיות הכוללות יותר פיקסלים בכוון המשיק לשפה ויותר בכיוון הניצב לו. 4.4 מזעור הערך המוחלט של השגיאה: ניתן לבחור "ערך מייצג" גם לפי קריטריונים השונים ממינימיזציה של שגיאת ממוצע השגיאה הריבועית. מייצג" המביא למינימום את ממוצע הערך המוחלט של השגיאה. J ~ g( m, n ) g( m, mn חישוב קריטריון בעל יתרונות הוא לבחור ( m, n ) N ( m, ~ g( mn, ) נעשה באופן הבא: מספר ערכי הסביבה הגדולים מ- נניח שבחרנו ערך נסמן ב-. γ N γ m n N γ+ (, ), ( m, n ) γ והקטנים מ- בהתאמה. γ נשים לב עתה שאם γ "ערך את עולה γ γ+ בשיעור קטן, Δγ שאינו גורם לשינוי ב (n, N (,m,(n N (,m אז פונקצית המחיר יורדת ב- γ + γ γ+ γ ].[ N ( m, N ( m, כלומר אם N ( m, > N ( m, אז כדאי להגדיל את הערך Δγ המייצג. זה נכון גם אם ש- ערך γ עולה בשיעור גדול יותר, המשנה את γ γ+, N ( m,, N ( m, כל זמן γ + γ. N ( m, > N ( m, מצד שני אם γ עולה בשיעור המביא את N γ+ ( m, γ להיות קטן, N אז פונקצית המחיר מתחילה לעלות. לכן פונקצית המחיר היא מינימלית עבור מ- γ ( m, γ+ γ עבורו N ( m, N ( m, כלומר עבור החציון (meda של קבוצת רמות האפור של הפיקסלים בסביבה (n. )N,m לסינון בעזרת חציון יש מספר תכונות אופייניות: הוא אינו מחליק שפות ואינו גורם, לכן לטשטוש התמונה. זהו יתרון משמעותי. בניגוד למיצוע הרגיש מאד לרמות אפור חריגות, התורמות באופן משמעותי לערכי אות תוצאה הרי הסינון בעזת חציון אינו רגיש לערכים חריגים כל זמן שהם מספיק נדירים. לתכונה זו יתרונות וחסרונות. מצד אחד ניתן לסנן רעשים מסוג,salt and pepper המאופיינים ברמת אפור קיצונית המופיעה לעתים נדירות (למשל בעשירית מהפיקסלים). מצד שני יוריד החציון קווים דקים..
3 אות חד מימדי מקורי האות המורעש לאחר מסנן 3Medan 3 האות בתוספת רעש Salt and Pepper האות המורעש לאחר מסנן 3Mean בארבעת האיורים ניתן לראות את ההבדל בפעולת שני המסננים על אות חד ממדי: מוסיפים רעש לאות חד ממדי, ולאחר מכן משתמשים בשתי שיטות לשחזור: בעזרת מסנן ממצע, ובעזרת מסנן חציון. ניתן לראות את יתרונו הברור של מסנן החציון עבור סינון רעשים מסוג Salt and.pepper הוא אינו גורם להחלקה מיותרת ואינו פוגע במדרגה שבאות המקורי (טשטוש שפות, במקרה של תמונה). דוגמה: מקור מורעש משמאל, תמונה מתוקנת על ידי ממוצע באמצע, תמונה מתוקנת על ידי חציון מימין. השורה הראשונה מתייחסת לרעש גאוסי (חזק מאוד, כדי להדגיש את ההבדלים) ואילו השניה לרעש & Salt.Pepper עבור הראש הגאוסי, מבט מקרוב מאשר שאכן הממוצע מוריד קצת יותר רעש ואילו החציון משאיר.2
אי( פרק ד: שיפור תמונות עיבוד תמונות ואותות תמונה קצת יותר חדה. עבור רעש ה S&P הממוצע לא משפר את המצב בכלל ואילו החציון מתקן בצורה טובה בהרבה. שימו לב, עם זאת, שבחציון מאבדים למשל חלק מהקו הדק למטה משמאל. 4.5 קיימות שיטות ניקוי רעש מודרניות המשיגות תוצאות טובות יותר. כדוגמה לכך נתאר כותית) את השיטה הקרויה.Non Local Means שיטה זו מנצלת מבנים דומים הקיימים בתמונה. במימוש מתייחסים לחלון (תת תמונה) קטן, שיכונה חלון המטרה. בוחנים חלונות נוספים באותו גודל. לכל חלון נוסף כזה מוצאים מקדם הגדל עם הדימיון לחלון המטרה הוא נמוך מאוד אם הדימיון נמוך. מחשבים תוצאת ביניים עבור חלון המטרה שהיא שהיא ממוצע משוקלל של החלונות הנוספים עם המקדמים שמצאנו. על חישוב זה חוזרים למספר רב של חלונות בעלי חפיפה ובסופו של דבר מחשבים את הערך של כל רמת אפור כממוצע רמות האפור בפיקסל הזה בכל תוצאות הביניים הכוללות את הפיקסל. אינטואיטיבית שיטה זו ממצעת מבנים דומים ומשאירה ללא שינוי פיקסלים באזורים שאין להם מבנים דומים. השיטה הזו נותנת תוצאות טובות במיוחד כאשר התמונה בעלת אופי גאומטרי, שיש להם שפות ישרות וארוכות ומשטחים אחידים גדולים. דוגמה לתמונה כזו היא תמונה של בניין. בתמונות כאלו ניתן למצוא חלונות דומים מאוד לחלונות המטרה. בנוסף התוצאות הטובות מושגות כאשר הרעש קטן יחסית לתחום הערכים של פרטי התמונה. שימו לב שהשיטה אינה ליניארית, כיון שלמרות שמחושב ממוצע, הרי המקדמים תלויים בתמונה עצמה. השיטה דורשת כמובן מחיר חישובי גדול בהרבה. דוגמה: מקור מורעש משמאל, תמונה מתוקנת על ידי NLmeans באמצע, תמונה מתוקנת על ידי חציון מימין. התיקון על ידי ממוצע דומה לתיקון על ייד חציון. שימו לב שהמשטחים האחידים יחסית ברקע תוקנו בצורה טובה..3